在这项工作中,我们为软机器人蛇提供了一种基于学习的目标跟踪控制方法。受到生物蛇的启发,我们的控制器由两个关键模块组成:用于学习靶向轨迹行为的增强学习(RL)模块,给出了软蛇机器人的随机动力学,以及带有Matsuoka振荡器的中央模式生成器(CPG)系统,用于产生稳定而多样的运动模式。基于提议的框架,我们全面讨论了软蛇机器人的可操作性,包括在其蛇形运动期间的转向和速度控制。可以将这种可操作性映射到CPG系统振荡模式的控制中。通过对Matsuoka CPG系统振荡性能的理论分析,这项工作表明,实现我们软蛇机器人的自由移动性的关键是正确限制和控制Matsuoka CpG系统的某些系数比率。基于此分析,我们系统地制定了CPG系统的可控系数,供RL代理运行。通过实验验证,我们表明,在模拟环境中学习的控制政策可以直接应用于控制我们的真正的蛇机器人以执行目标跟踪任务,而不管模拟与现实世界之间的物理环境差距如何。实验结果还表明,与我们先前的方法和基线RL方法(PPO)相比,我们的方法对SIM到现实过渡的适应性和鲁棒性得到了显着改善。
translated by 谷歌翻译